package com.shujia.flink.source

import java.util.Properties

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer

object Demo4Kafka {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment


    val properties = new Properties()
    //kafka集群地址
    properties.setProperty("bootstrap.servers", "master:9092")
    //消费者组，随便写, 一条消息在一个组内只被消费一次
    properties.setProperty("group.id", "asfasfsafsasdsad")


    //创建kafka消费者
    val consumer = new FlinkKafkaConsumer[String]("test_topic1", new SimpleStringSchema(), properties)


    consumer.setStartFromEarliest() // 尽可能从最早的记录开始
    //consumer.setStartFromLatest()       // 从最新的记录开始
    //consumer.setStartFromTimestamp(...)// 从指定的时间开始（毫秒）

    //从上一次消费的位置读取数据，如果是第一次读取，只读最新数据
    //consumer.setStartFromGroupOffsets()// 默认的方法,如果第一次消费也是读取最新的数据


    //使用kafka source
    val kafkaDS: DataStream[String] = env.addSource(consumer)


    kafkaDS.flatMap(_.split(">"))
      .map((_, 1))
      .keyBy(_._1)
      .sum(1)
      .print()

    env.execute()


  }

}
